Проект сосредоточен на CognitiveDog, новаторской разработке четвероногого робота с большой мультимодальной моделью (LMM), способной не только общаться с людьми устно, но и физически взаимодействовать с окружающей средой через манипулирование объектами. Система реализована на роботе-собаке Unitree Go1, оснащенном специальной ручкой, и демонстрирует автономные способности принятия решений, самостоятельно определяя наиболее подходящие действия и взаимодействия с различными объектами для выполнения задач, определенных пользователем. Эти задачи не обязательно включают прямые инструкции, бросая вызов роботу понять и выполнить их на основе входных данных естественного языка и подсказок окружающей среды. Ключом к этому развитию является способность робота ориентироваться в пространстве с помощью визуального SLAM, эффективно манипулировать и перемещать объекты и предоставлять содержательные комментарии на естественном языке во время выполнения задачи.

Статус проекта: реализован.